1. Innledning

De siste årene har kunstig intelligens («KI») fått større utbredelse enn noen gang før. Det utvikles stadig flere produkter og tjenester som inneholder KI i en eller annen form og både offentlig og privat sektor i Norge er i gang med å kartlegge mulige bruksområder for KI fremover. Selv om teknologien utvilsomt er nyttig, kan den også utgjøre en stor risiko for menneskene som er utsatt for den. For å minimere risikoen forbundet med utvikling og bruk av KI, er det enighet om at det er behov for rettslig regulering. Det store spørsmålet er imidlertid hvordan vi best mulig skal klare dette.

Den 21. april 2021 la Europakommisjonen frem et forslag til en KI-forordning («AI Act»).^{(1)European Commission COM/2018/237} Den 6. desember 2022 publiserte Rådet et endringsforslag^{(2)Council of EU, «Artificial Intelligence Act: Council calls for promoting safe AI that respects fundamental rights», pressemelding, 6. desember 2022. [Tilgjengelig her: Artificial Intelligence Act: Council calls for promoting safe AI that respects fundamental rights] (lest 17.8.2023).}, og den 14. juni 2023 publiserte Europaparlamentet sin holdning.^{(3)European Parliament, «MEPs ready to negotiate first-ever rules for safe and transparent AI». [Tilgjengelig her: MEPs ready to negotiate first-ever rules for safe and transparent AI | News | European Parliament (europa.eu) ] (lest 17.8.2023).} I tiden fremover skal partene inn i «trilog»-forhandlinger før endelig forordningsvedtak er ventet i slutten av 2023 eller starten av 2024.^{(4)Trilog-forhandlinger er uformelle forhandlinger om lovforslag mellom representanter for Europaparlamentet, Rådet og Kommisjonen. Formålet er å oppnå en enighet mellom Europaparlamentet og Rådet om en lovtekst. Europaparlamentet har skrevet om disse på sine sider: Interinstitutional negotiations | Ordinary Legislative Procedure | European Parliament (europa.eu) (lest 17.08.2023).}

AI Act er verdens første forslag til et juridisk rammeverk som regulerer KI spesifikt. Når KI behandler personopplysninger innenfor EU eller om personer bosatt i EU, faller behandlingen imidlertid samtidig under personvernforordningen («GDPR»).^{(5)GDPR artikkel 4 nr. 2.} Dette reiser spørsmål om samspillet mellom GDPR og fremtidens AI Act, og hvor godt regelverkene er harmonisert.

I min masteravhandling fra våren 2023 undersøkte jeg hvordan risikovurderingene i forslaget til AI Act samspiller med risikovurderingene som må foretas etter GDPR, samt hvordan dette påvirker sentrale aktører under de to regelverkene. For å kunne besvare problemstillingen ble det identifisert hvilken rolle de sentrale aktørene under GDPR har under AI Act og hvordan rollefordelingen endrer seg i livsløpet til en KI. Avhandlingen inneholder videre en analyse av ulikhetene i de risikobaserte tilnærmingene i henholdsvis GDPR og forslaget til AI Act, samt mulige konsekvenser av dette. Oppgaven og konklusjonen er rettet mot utviklere og tilbydere av KI som i fremtiden kommer til å måtte forholde seg til både GDPR og AI Act.

Når KI behandler personopplysninger innenfor EU eller om personer bosatt i EU, faller behandlingen imidlertid samtidig under personvernforordningen («GDPR»).

I denne artikkelen skal jeg oppsummere funnene mine, med utgangspunkt i Rådets forslag. I ettertid, 14. juni 2023, har Europaparlamentet publisert sitt forslag. Betydningen av dette for mine funn fra våren 2023 vil bli kommentert underveis og avslutningsvis.

2. Rolleavklaring

Aktørene som er involvert i behandlingen av personopplysninger etter GDPR er behandlingsansvarlig, databehandler og den registrerte. De fleste forpliktelsene etter GDPR pålegges den behandlingsansvarlige.^{(6)NOU 2022: 11, s. 38.} Behandlingsansvarlig bestemmer formålet med en behandling og hvilke hjelpemidler, eksempelvis kunstig intelligens, som skal brukes.^{(7)GDPR art. 4 nr. 7.} Behandlingsansvarlig er videre ansvarlig for risikoen og må gjennomføre de fleste risikovurderingene etter GDPR. Behandlingsansvarlig er imidlertid ikke nødvendigvis den som utfører selve behandlingen. En databehandler behandler personopplysninger på vegne av behandlingsansvarlig.^{(8)GDPR art. 4 nr. 8.} Den registrerte er den identifiserte eller identifiserbare fysiske personen det behandles personopplysninger om.^{(9)GDPR art. 4 nr. 1.}

Under forslaget til AI Act er det leverandøren («provider») som er underlagt flest forpliktelser. En leverandør er en som utvikler et KI-system, setter dette på markedet eller som tar det i bruk under eget navn eller varemerke.^{(10)Rådets forslag art. 3 nr. 2.} Videre er brukeren (tidligere «users», men foreslått endret til«deployers» av Europaparlamentet) en sentral aktør under AI Act. Brukere er definert som «any natural or legal person, including a public authority, agency or other body, under whose authority the system is used».^{(11)Rådets og Europaparlamentets forslag artikkel 3 nr. 4} Dette kan eksempelvis være en arbeidsgiver som anvender et KI-system til å bistå med ansettelsesprosesser, eller en bank som anvender KI til å identifisere risikolånetakere. Brukere er også underlagt forpliktelser i forslaget til AI Act, men i mer begrenset omfang enn leverandøren. Europaparlementets forslag innebærer imidlertid at flere av forpliktelsene som opprinnelig kun ble pålagt leverandør, nå også er foreslått pålagt brukerne.

Sett i lys av GDPR vil definisjonen av brukere i AI Act i mange tilfeller være behandlingsansvarlige etter GDPR artikkel 4 nr. 7, mens leverandørene opptrer som databehandlere jf. GDPR artikkel 4 nr. 8. Dette medfører at selv om brukernes forpliktelser etter AI Act er begrenset, vil disse ha en rekke forpliktelser som behandlingsansvarlige etter reglene i GDPR. Samtidig er leverandøren selv behandlingsansvarlig for behandling av personopplysninger som gjøres med et eget satt mål om å utvikle, trene opp og videreutvikle KI-systemet sitt. Leverandører opptrer derfor i mange tilfeller som databehandler og behandlingansvarlig samtidig, eller er behandlingsansvarlig i utviklingsperioden og databehandler overfor en bruker av systemet når dette er ferdigutviklet. Med andre ord vil rollefordelingen i mange tilfeller endres i løpet av livsløpet til en KI og for ulike deler av en behandling.

Sett i lys av GDPR vil definisjonen av brukere i AI Act i mange tilfeller være behandlingsansvarlige etter GDPR artikkel 4 nr. 7, mens leverandørene opptrer som databehandlere jf. GDPR artikkel 4 nr. 8.

Dette har flere konsekvenser. For det første at det kan være utfordrende og ressurskrevende for hovedaktørene å forstå hvilken rolle de har i relasjon til de to regelverkene til enhver tid. Videre kan det være utfordrende å forstå hvilke forpliktelser de har og når.

3. To risikobaserte rettsakter

Både AI Act og GDPR er risikobaserte rettsakter. At GDPR har en risikobasert tilnærming kan forankres i GDPR artikkel 24, 32 m.fl., men fremgår også allerede i et av de grunnleggende prinsippene for behandling av personopplysninger, ansvarlighetsprinsippet.^{(12)Gellert (2020) s. 138.} Den risikobaserte tilnærmingen i GDPR følger et nedenfra-og-opp-perspektiv.^{(13)De Gregorio og Dunn (2022) s. 4.} Med dette menes at de ulike bestemmelsene legger opp til at det er behandlingsansvarlige som er nærmest å vurdere risikoen og iverksette risikoreduserende tiltak. Det er behandlingsansvarlig som kjenner behandlingen best, og egen ressurssituasjon, og dermed har forutsetning for å vurdere hvilke tiltak som vil virke best.^{(14)De Gregorio og Dunn (2022) s. 4.}

AI Act representerer det motsatte synspunktet. Selve risikokategoriseringen overlates ikke til aktørene som forordningen retter seg mot. Det er AI Act som selv, fra en ovenfra-og-ned-tilnærming, direkte identifiserer fire ulike risikokategorier og pålegger aktører forpliktelser avhengig av risikogruppen systemet faller innunder.^(15)Ibid.

Ulikhetene i de risikobaserte tilnærmingene kan føre til at det blir utfordrende å få en helhetlig forståelse av risiko og hvilket ansvar risikoen medfører. Selv om det må vurderes hvilken risikokategori et KI-system ligger innunder, ansvarliggjøres leverandørene i mindre grad for denne vurderingen enn hva behandlingsansvarlig gjør etter GDPR hvor rommet for skjønn er større.

På den andre siden er det det samme konstitusjonelle målet om å fremme EUs grunnleggende rettigheter og friheter, herunder personvern, som er bakgrunnen for de to regelverkene.^{(16)GDPR fortalepunkt 12; Rådets forslag fortalepunkt 2.} GDPR og forslaget til AI Act deler et mål om å regulere, og dermed minimere, risikoen nye teknologier kan utgjøre. Selv om de gir uttrykk for EUs risikobaserte tilnærming på svært ulike måter, er dette overordnede målet en samlende faktor.^(17)Ibid. Når GDPR ikke alene har klart å begrense risikoene KI utgjør for menneskers rettigheter og friheter på en tilstrekkelig måte, er det kanskje nødvendig at AI Act anvender en annen tilnærming.

4. Risikovurderingene som må foretas etter de to regelverkene

Behandlingsansvarlig må etter GDPR artikkel 24, 25, 32 og 35 nr. 1 foreta risikovurderinger av risikoen en behandling av personopplysninger utgjør for de registrerte før et KI-system tas i bruk eller utvikles. Disse risikovurderingene skal blant annet avklare om det er sannsynlig at systemet utgjør en høy risiko, slik at plikten til å foreta en vurdering av personvernkonsekvenser (DPIA) etter GDPR artikkel 35 foreligger.

Etter AI Act må leverandører foreta en vurdering av hvilken kategori systemet som utvikles faller inn under for å identifisere hvilke forpliktelser de har. Som nevnt identifiseres de ulike risikokategoriene direkte i lovverket og risikovurderingen som må foretas på dette tidspunktet er gjennomregulert, i motsetning til vurderingene etter GDPR.

Ulikhetene i de risiko­baserte til­nærmingene kan føre til at det blir utfordrende å få en helhetlig forståelse av risiko og hvilket ansvar risikoen medfører.

I likhet med GDPR artikkel 35 er det imidlertid også i AI Act lovfestet andre risiko-fokuserte legislative teknikker som ulike aktører må foreta og løpende oppdatere, slik som kravet til opprettelsen av et risikostyringssystem etter AI Act artikkel 9.^{(18)Mahler (2022) s. 252.} Forpliktelsene artikkelen oppstiller var tidligere pålagt leverandøren alene, men Europaparlamentet har foreslått at dette også skal gjelde brukere.^{(19)Europaparlamentets forslag artikkel 16 nr. 1 bokstav a. At forpliktelsen ikke er pålagt en konkret aktør kan potensielt resultere i at samme prosesser risikovurderes flere ganger.} Formålet med artikkel 9 er å sørge for at det tas ytterligere grep for å redusere risiko som, etter overholdelse av de øvrige reglene i kapittel to, enda ansees å være for høy.^{(20)Schuett (2023) s. 4.} Artikkel 9 er dermed en viktig sikkerhetsventil som åpner opp for mer skjønnsmessige risikovurderinger enn i AI Act for øvrig.

I likhet med en DPIA etter GDPR artikkel 35, krever risikovurderingsprosessen etter artikkel 9 nr. 1 og 2 systematisk oppdatering og oppfølging. Forpliktelsen foreligger kun for systemer som er høyrisiko etter AI Act. DPIA-prosessen foreligger derimot allerede om det er «sannsynlig» at behandlingen er høyrisiko etter GDPR.

Selv om AI Act ikke gir rettigheter til enkeltindivider på samme måte som GDPR, er leverandøren nødt til å vurdere risikoen for fysiske personer som er utsatt for leverandørens KI-system.^{(21)Schuett (2023) s. 8.} Første steg i risikostyringssystemet er å identifisere og analysere kjente og forutsigbare risikoer for helse, sikkerhet og grunnleggende rettigheter i lys av det tiltenkte formålet med systemet. Europaparlamentet krever i tillegg at risiko for negativ påvirkning av like rettigheter, demokrati og mer må vurderes.^{(22)Europaparlamentets forslag artikkel 9 nr. 2 bokstav a.}

Leverandørens forpliktelse til å løpende vurdere de grunnleggende rettighetene til individer som kan være utsatt for KI-systemet, medfører at leverandøren må foreta noen av de samme vurderingene som behandlingsansvarlig/brukeren må foreta i sin DPIA etter GDPR artikkel 35. Det er derfor viktig at AI Act forsøker å harmonisere vurderingen foretatt etter AI Act artikkel 9 og etter GDPR artikkel 35. Dette poenget har Rådet sett. Derfor er det inntatt et krav om at leverandøren må dele funnene sine etter artikkel 9 nr. 2 med brukeren av systemet.^{(23)Rådets forslag artikkel 13 nr. 3 bokstav b(iii)} I Europaparlamentets forslag er bestemmelsen endret og det er ikke lenger slik at informasjon kun skal formidles fra leverandøren til brukerne, men informasjonsflyten skal gå begge veier. Dette er en naturlig følge av at risikovurderingsplikten er pålagt begge aktører.

Selv om AI Act ikke gir rettigheter til enkelt­individer på samme måte som GDPR, er leverandøren nødt til å vurdere risikoen for fysiske personer som er utsatt for leverandørens KI-system.

Det fremgår imidlertid fremdeles i Europaparlamentets forslag at brukere av systemer som utgjør høy risiko skal bruke informasjonen de har fått av leverandøren i artikkel 9-vurderingen til å overholde forpliktelsen sin til å foreta en DPIA etter GDPR artikkel 35.^{(24)Rådets og Europaparlamentets forslag artikkel 29 nr. 6} At begge disse risikovurderingssystemene skal oppdateres løpende medfører at overholdelse av GDPR artikkel 35 og AI Act artikkel 9 fordrer et nært samarbeid mellom leverandøren og brukeren av KI-systemet. Dersom den ene parten ikke gir tilstrekkelig informasjon, risikerer den andre parten å bryte sine forpliktelser etter ett eller begge regelverk.

Kommunikasjonen mellom leverandører og behandlingsansvarlige/brukere av KI-systemer er en utfordring. Dette kan kanskje forklares med at det hittil hovedsakelig har vært behandlingsansvarlig som har blitt ansvarliggjort for risikoen behandling av personopplysninger utgjør. Dermed har ikke databehandleren hatt det samme initiativet til å gi tilstrekkelig informasjon til behandlingsansvarlig. Der databehandler er tilknyttet et land utenfor EU har den vanskelige kommunikasjonen også kunnet forklares med at databehandler ikke har tilstrekkelig kunnskap om hvilken informasjon behandlingsansvarlig trenger og hvorfor. Med AI Act vil også leverandøren/databehandler få et større risikoansvar og vil ha et større initiativ til å opprettholde en løpende, åpen og god kommunikasjon med brukeren. Slik sett kan vedtakelsen av AI Act være med på å gjøre kommunikasjonen lettere.

5. Ytterligere risikovurderinger i Europaparlamentets forslag

I Kommisjonens og Rådets forslag skal KI-systemer listet opp i vedlegg III til forordningen som hovedregel automatisk regnes som høyrisiko.^{(25)Rådets forslag artikkel 6 nr. 3.} Dette inkluderer blant annet KI-systemer som brukes i drift og styring av kritisk infrastruktur, systemer som brukes til utdannings- og yrkesopplæringsformål og systemer brukt i ansettelsesprosesser eller av en arbeidsgiver overfor sine ansatte. Etter Europaparlamentets forslag må det derimot foretas en konkret risikovurdering av om disse systemene utgjør en betydelig risiko for helse, sikkerhet eller EUs grunnleggende rettigheter. Først dersom det er tilfellet, vil KI-systemene regnes som høyrisiko.^{(26)Europaparlamentets forslag artikkel 6 nr. 2.}

I Europaparlamentets forslag er det videre lagt til en ny artikkel 29 a som pålegger brukere av høyrisiko AI-systemer å foreta en «Fundamental rights impact assessment» før første bruk av KI-systemet og på nytt hvis nødvendig. Denne vurderingen er omfattende og det er oppstilt 9 punkter som minimum skal vurderes. Dette inkluderer blant annet det tiltenkte geografiske og tidsmessige omfanget av systemets bruk, kategorier av fysiske personer og grupper som sannsynligvis vil bli påvirket av bruken av systemet, spesifikke risikoer for skade som sannsynligvis vil påvirke marginaliserte personer eller sårbare grupper og de forutsigbare uønskede virkningene av bruk av systemet på miljøet.

For å unngå overlapp med GDPR er det spesifisert i punkt 3 at dersom brukeren allerede er pålagt å utføre en DPIA etter artikkel 35 i GDPR skal risikovurderingen i AI Act artikkel 29 gjennomføres sammen med DPIAen. DPIAen skal publiseres som et tillegg. I realiteten medfører dette at brukere må gjøre en mer omfattende vurdering enn det som er nødvendig etter GDPR artikkel 35. Det kan også diskuteres hvor lett det vil være å besvare alle de 9 punktene vurderingen krever, det kan være utfordrende for brukeren av et nytt system å vite svarene. Dermed kommer brukeren til å være avhengig av gode tidligere vurderinger og svar fra leverandøren/utvikleren.

6. Hvordan kan utviklere og tilbydere av kunstig intelligens bistås?

Det er som gjennomgått flere av de konkrete kravene til risikovurderinger i AI Act som ikke er harmonisert med de allerede eksisterende kravene til risikovurderinger etter bestemmelsene i GDPR kapittel IV. Videre er kravene pålagt ulike aktører i løpet av livsløpet til en KI og for ulike deler av en behandling.

Det er som gjennomgått flere av de konkrete kravene til risikovurderinger i AI Act som ikke er harmonisert med de allerede eksisterende kravene til risikovurderinger etter bestemmelsene i GDPR kapittel IV.

Dette har flere konsekvenser. For det første at det kan være utfordrende for aktørene å forstå hvilken rolle de har i relasjon til de to regelverkene og følgelig hvilke forpliktelser de har og når. Videre må det utføres flere risikovurderinger enn de som allerede må gjennomføres etter GDPR. De fleste av disse kan neppe samordnes fullt ut om det skal sikres overholdelse av begge regelverk. Dette kommer til å medføre økte kostnader og kompleksiteten av overholdelse vil øke ytterligere utover hva som allerede er tilfellet etter GDPR.

Det finnes flere måter å begrense utfordringene på. En måte er å lage gode veiledninger med et helhetlig syn på begge regelverkene. Disse veiledningene må identifisere overlappende krav, mål, risikovurderinger og proporsjonalitetsvurderinger. På den måten vil de kunne trekke linjer til hvor informasjon innhentet etter kravene i den ene forordningen kan brukes til å overholde forpliktelsene etter den andre forordningen. Det er etter min mening ikke tilstrekkelig med organer som veileder bedrifter til overholdelse av ett av regelverkene isolert sett, slik som EDPB. Der regelverkene overlapper eller regulerer samme tilfelle, må veiledningene legge til rette for det. Gode modeller, figurer og andre verktøy vil være til hjelp i veiledningsprosessen. Videre må også pliktsubjektene selv sørge for at de har en helhetlig tilnærming til risikovurderingene som må foretas etter både GDPR og AI Act.